GermanWikipedia - /page/entry.mu

Micron Document

<!DOCTYPE html>

<title>Large Language Model</title>

</head>

<h1 id="firstHeading" class="firstHeading mw-first-heading">Large Language Model</h1>

</header>

</div>

<div id="mw-content-text" class="mw-body-content mw-content-ltr" lang="de" dir="ltr"><div class="mw-content-ltr mw-parser-output" lang="de" dir="ltr">Ein Large Language Model, kurz LLM (englisch, teilweise <a href="Lehn%C3%BCbertragung" title="Lehnübertragung">übertragen</a> großes Sprachmodell), ist die <a href="Softwaretechnik" title="Softwaretechnik">Software-technische</a> Realisierung eines mathematischen <a href="Sprachmodell" title="Sprachmodell">Sprachmodells</a>, das sich durch seine Fähigkeit zur <a href="Textgenerierung" title="Textgenerierung">Textgenerierung</a> auszeichnet. Es handelt sich um ein sogenanntes <a href="Computerlinguistik" title="Computerlinguistik">computerlinguistisches</a> Wahrscheinlichkeitsmodell, das <a href="Statistik" title="Statistik">statistische</a> Wort- und Satzfolge-Beziehungen aus einer Vielzahl von Textdokumenten durch einen rechenintensiven Trainingsprozess erlernt hat und diese Fähigkeiten seinem Benutzer oder in einer anderen Anwendung zur Verfügung stellt.<a href="#cite_note-1">[1]</a>

<div class="mw-heading mw-heading2"><h2 id="Beschreibung">Beschreibung</h2></div>

Große Sprachmodelle erlangen ihre Fähigkeiten durch die Verwendung gigantischer Datenmengen, um während des Trainings riesige Mengen von Parametern zu lernen. Dabei verbrauchen sie extrem viel Rechenressourcen.<a href="#cite_note-2">[2]</a> Große Sprachmodelle sind im weiteren Sinne <a href="K%C3%BCnstliches_neuronales_Netz" title="Künstliches neuronales Netz">künstliche neuronale Netze</a> und werden (<a href="A_priori" title="A priori">a priori</a>) entweder durch selbstüberwachtes Lernen oder halbüberwachte Lernmethoden trainiert. Für diese neuronalen Netze werden seit etwa dem Jahr 2024 häufig <a href="Transformer_(Maschinelles_Lernen)" title="Transformer (Maschinelles Lernen)">Transformer</a> als Architektur gewählt.<a href="#cite_note-3">[3]</a> Bekanntheit haben dabei die <a href="Generativer_vortrainierter_Transformer" title="Generativer vortrainierter Transformer">Generative Pretrained Transformer</a> (GPT) erlangt.

Große Sprachmodelle arbeiten als selbstanpassende Sprachmodelle, die „verschiedene Aufgaben in <a href="Nat%C3%BCrliche_Sprache" title="Natürliche Sprache">natürlicher Sprache</a> ausführen können, z. B. das Zusammenfassen, Übersetzen, Vorhersagen und Erstellen von Texten, indem sie einen Eingabetext nehmen und wiederholt das nächste Token oder Wort vorhersagen“.<a href="#cite_note-4">[4]</a><a href="#cite_note-5">[5]</a>

Bis 2020 bestand die einzige Möglichkeit, ein Modell an bestimmte Aufgaben anzupassen, in der sogenannten <a href="Fine-Tuning_(K%C3%BCnstliche_Intelligenz)" title="Fine-Tuning (Künstliche Intelligenz)">Feinabstimmung</a>.<a href="#cite_note-6">[6]</a> Größere Modelle, wie z. B. das inzwischen populäre LLM <a href="GPT-3" title="GPT-3">GPT-3</a>, wurden jedoch so konzipiert, dass sie mit Hilfe des sogenannten „<a href="Prompt_Engineering" title="Prompt Engineering">Prompt Engineering</a>“ ähnliche Ergebnisse erzielen können.<a href="#cite_note-7">[7]</a> Zusätzlich zu der Fähigkeit, Kenntnisse über <a href="Syntax" title="Syntax">Syntax</a>, <a href="Semantik" title="Semantik">Semantik</a> und „Ontologie“ in menschlichen <a href="Korpuslinguistik" title="Korpuslinguistik">Sprachkorpora</a> zu erwerben, wird angenommen, dass große Sprachmodelle auch in der Lage sind, Ungenauigkeiten und Verzerrungen in den Korpora zu erfassen.<a href="#cite_note-8">[8]</a>

<div class="mw-heading mw-heading2"><h2 id="Umsetzungen_der_LLM">Umsetzungen der LLM</h2></div>

Beispiele für LLM-Software oder -Services oder -Apps sind <a href="Open_Assistant" title="Open Assistant">Open Assistant</a>, <a href="ChatGPT" title="ChatGPT">ChatGPT</a>, <a href="Ernie_Bot" title="Ernie Bot">Ernie Bot</a> und <a href="Grok" title="Grok">Grok</a>. Die Services sind dabei wie ein Chat aufgebaut, der mit seinem Benutzer kommuniziert, auch bekannt als <a href="Chatbot" title="Chatbot">Chatbot</a>.

Zu den großen Sprachmodellen zählen die folgenden <a href="Generativer_vortrainierter_Transformer" title="Generativer vortrainierter Transformer">GPT</a>-Modelle:

<ul><li><a href="OpenAI" title="OpenAI">OpenAI</a>, z. B. <a href="GPT-3" title="GPT-3">GPT-3</a>, die in ChatGPT und <a href="Microsoft_Copilot" title="Microsoft Copilot">Microsoft Copilot</a> verwendet werden</li>

<li><a href="Google" title="Google">Google</a>, z. B. <a href="PaLM" title="PaLM">PaLM</a>, <a href="Gemini_(Sprachmodell)" title="Gemini (Sprachmodell)">Gemini</a> und weitere Varianten</li>

<li><a href="Meta_Platforms" title="Meta Platforms">Meta</a> <a href="LLaMA-Sprachmodell" title="LLaMA-Sprachmodell">LLaMA-Sprachmodelle</a> (Open-Source)</li>

<li><a href="Anthropic" title="Anthropic">Anthropics</a> <a href="Claude_(Sprachmodell)" title="Claude (Sprachmodell)">Claude</a> und</li>

Daneben gibt es auch leistungsfähige LLMs chinesischer Firmen wie diejenigen von <a href="Alibaba_Group" title="Alibaba Group">Alibaba</a>, <a href="DeepSeek" title="DeepSeek">DeepSeek</a>, 01 AI und Zhipu AI.<a href="#cite_note-9">[9]</a>

LLMs werden in verschiedenen IT-Umgebungen bzw. Systemen (vgl. <a href="Cloud_Computing" title="Cloud Computing">Cloud</a>) im Zuge von <a href="Onlinedienst" title="Onlinedienst">Onlineservices</a> von verschiedenen <a href="Internetdienstanbieter" title="Internetdienstanbieter">Internetdienstleistern</a> angeboten. Letztere sind meist als <a href="Start-up-Unternehmen" title="Start-up-Unternehmen">Startups</a> oder Innovationsabteilungen in Organisationen oder Unternehmen aufgestellt. Die Lizenzen in Bezug auf die Fähigkeiten, Nutzung und Datenverarbeitung der verschiedenen Modelle und Services reichen von <a href="Propriet%C3%A4re_Software" title="Proprietäre Software">proprietär</a> über <a href="Open_Source" title="Open Source">Open Source</a> bis hin zu anderen. In diesem Zusammenhang spielt auch der <a href="Datenschutz" title="Datenschutz">Datenschutz</a> eine übergeordnete Rolle.

<div class="mw-heading mw-heading2"><h2 id="Entstehung_und_Entwicklung">Entstehung und Entwicklung</h2></div>

<div class="mw-heading mw-heading3"><h3 id="Software">Software</h3></div>

Auf der „<a href="Conference_on_Neural_Information_Processing_Systems" title="Conference on Neural Information Processing Systems">Conference on Neural Information Processing Systems</a>“ (NeurIPS) 2017 stellten Google-Forscher unter <a href="Ashish_Vaswani" title="Ashish Vaswani">Ashish Vaswani</a> eine neue Transformer-Architektur vor.<a href="#cite_note-10">[10]</a><a href="#cite_note-11">[11]</a> Ziel dieser Veröffentlichung war es, die sogenannte „Seq2seq“-Technologie aus dem Jahr 2014 zu verbessern, und es basierte hauptsächlich auf dem entwickelten „<a href="Englische_Sprache" title="Englische Sprache">englisch</a> attention mechanism ‚Aufmerksamkeitsmechanismus‘“.<a href="#cite_note-12">[12]</a> Im darauffolgenden Jahr 2018 wurden die <a href="Bidirectional_Encoder_Representations_from_Transformers" title="Bidirectional Encoder Representations from Transformers">Bidirectional Encoder Representations from Transformers</a> (BERT) eingeführt und schnell „allgegenwärtig“. Obwohl der ursprüngliche Transformator sowohl <a href="Kodierer" title="Kodierer">Encoder</a>- als auch Decoderblöcke hat, ist BERT ein reines Encoder-Modell.<a href="#cite_note-13">[13]</a>

Obwohl GPT-1 im Jahr 2018 als reines Decoder-Modell eingeführt wurde, erregte GPT-2 im Jahr 2019 große Aufmerksamkeit, da <a href="OpenAI" title="OpenAI">OpenAI</a> es zunächst als zu leistungsfähig erachtete, um es aus Angst vor böswilliger Nutzung zu veröffentlichen. <a href="GPT-3" title="GPT-3">GPT-3</a> im Jahr 2020 ging noch einen Schritt weiter und ist ab 2024 nur noch über eine API verfügbar, ohne die Möglichkeit, das Modell zur lokalen Ausführung herunterzuladen. Es war das browserbasierte ChatGPT aus dem Jahr 2022, das „die Welt komplett veränderte“.<a href="#cite_note-14">[14]</a> 2023 wurde GPT-4 für seine erhöhte Genauigkeit und als „heiliger Gral“ für seine multimodalen Fähigkeiten gepriesen.<a href="#cite_note-15">[15]</a> OpenAI gab die High-Level-Architektur und die Anzahl der Parameter des GPT-4 nicht bekannt.

In der Zwischenzeit haben konkurrierende Sprachmodelle größtenteils mit der GPT-Serie gleichgezogen, zumindest was die Anzahl der Parameter betrifft.<a href="#cite_note-16">[16]</a> Zu den bemerkenswerten Ausnahmen in Bezug auf die Anzahl der Parameter gehören Googles T5-11B von 2019 und <a href="PaLM" title="PaLM">PaLM-E</a> von 2022.

Seit 2022 erfreuen sich Open-Source-Modelle zunehmender Beliebtheit, zunächst vor allem BLOOM und <a href="LLaMA-Sprachmodell" title="LLaMA-Sprachmodell">LLaMA</a>, die allerdings beide Einschränkungen im Einsatzbereich aufweisen. Im Januar 2024 war Mixtral 8x7b von <a href="Mistral_AI" title="Mistral AI">Mistral AI</a> laut dem LMSYS Chatbot Arena Leaderboard das leistungsfähigste offene LLM, leistungsfähiger als GPT-3.5, aber nicht so leistungsfähig wie GPT-4.<a href="#cite_note-17">[17]</a>

Am 26. Januar 2024 übertraf Googles Gemini Pro das GPT-4,<a href="#cite_note-18">[18]</a> was die <a href="Elo-Zahl" title="Elo-Zahl">Elo-Bewertung</a> betrifft. Letztere wird im Umfeld von LLM zum <a href="Benchmark" title="Benchmark">Benchmarking</a> verwendet.

<div class="mw-heading mw-heading3"><h3 id="Hardware">Hardware</h3></div>

LLM sind <a href="Rechnertechnik" title="Rechnertechnik">rechenintensive</a> Software-Anwendungen. Dafür kommen modernste <a href="Prozessor" title="Prozessor">Prozessorgeneration</a> bzw. spezialisierte <a href="Mehrkernprozessor" title="Mehrkernprozessor">Mehrkernprozessoren</a> (vgl. auch <a href="Koprozessor" title="Koprozessor">Koprozessoren</a>), wie beispielsweise <a href="Grafikprozessor" title="Grafikprozessor">Grafikprozessoren</a> (in Form von <a href="Grafikkarte" title="Grafikkarte">Grafik-</a> oder spezialisierten Prozessorkarten), die besonders gut für <a href="Gleitkommazahl" title="Gleitkommazahl">Fließkommaoperationen</a> (vgl. <a href="IEEE_754" title="IEEE 754">IEEE 754</a>) geeignet sind, zum Einsatz. In diesem Zusammenhang sei auch erwähnt, dass die neue Technologie der LLMs zu erheblichen <a href="Wirtschaftspolitik" title="Wirtschaftspolitik">wirtschaftlich</a>-politischen Auseinandersetzungen führt. Die Medien sprechen von einem „<a href="Wettr%C3%BCsten" title="Wettrüsten">Wettrüsten</a>“ im Zuge einer „<a href="Chipkrise" title="Chipkrise">Chipkrise</a>“ (siehe dort), was nicht nur die fertigen Endprodukte betrifft, sondern auch die Halbleitermaschinen in der Fertigung (vgl. <a href="TSMC" title="TSMC">TSMC</a>, <a href="ASML" title="ASML">ASML</a>; siehe auch <a href="EUV-Lithografie" title="EUV-Lithografie">EUV-Lithografie</a>). Dies äußert sich in <a href="Sicherheitspolitik" title="Sicherheitspolitik">sicherheitskritischen Eingriffen der Politik</a>, beispielsweise beim <a href="Exportkontrolle" title="Exportkontrolle">Export</a> von Hardware.

Neben diesen Grafikprozessoren gibt es bereits <a href="Prozessorarchitektur" title="Prozessorarchitektur">Chiparchitekturen</a>, die für das Training und Inferencing von großen neuronalen Netzen optimiert sind.

In dem Jahr 2016 wurde beispielsweise von Google die erste Version ihres <a href="Tensor_Processing_Unit" title="Tensor Processing Unit">Tensor Processing Unit</a> (TPU) Systems vorgestellt. Seit den 2020er Jahren gibt es aber eine ganze Reihe von Computerherstellern mit Spezial-Hardware für die Verwendung von LLMs. So haben beispielsweise die Unternehmen Cerebras den CS-1, CS-2 und CS-3, <a href="AMD" title="AMD">AMD</a> die Instinct-Serie, <a href="Intel" title="Intel">Intel</a> die Gaudi-Plattform und <a href="Nvidia" title="Nvidia">Nvidia</a> Hopper bzw. dessen Nachfolger <a href="Blackwell_(Grafikprozessor)" title="Blackwell (Grafikprozessor)">Blackwell</a> eingeführt bzw. angekündigt.

<div class="mw-heading mw-heading2"><h2 id="Multimodal_Learning">Multimodal Learning</h2></div>

<div class="hauptartikel" role="navigation">→ Hauptartikel: <a href="Multimodale_k%C3%BCnstliche_Intelligenz" title="Multimodale künstliche Intelligenz">Multimodale künstliche Intelligenz</a></div>

Multimodal Learning verwendet verschieden strukturierte Daten im Bereich der <a href="K%C3%BCnstliche_Intelligenz" title="Künstliche Intelligenz">künstlichen Intelligenz</a>:<a href="#cite_note-19">[19]</a>

<ul><li>Text ist eine der am häufigsten verwendeten Modalitäten im <a href="Maschinelles_Lernen" title="Maschinelles Lernen">maschinellen Lernen</a>. Textdaten enthalten strukturierte Informationen, und mithilfe der <a href="Computerlinguistik" title="Computerlinguistik">natürlichen Sprachverarbeitung</a> lässt sich leicht Wissen aus ihnen extrahieren. Die Techniken, die zur Verarbeitung dieser Informationen verwendet werden, umfassen <a href="Tokenisierung" title="Tokenisierung">Tokenisierung</a>, <a href="Lemma_(Lexikographie)#Lemmatisierung" title="Lemma (Lexikographie)">Lemmatisierung</a>, <a href="Parser" title="Parser">Syntaxanalyse</a>, Erkennung von benannten Entitäten und Textklassifizierung.</li>

<li>Bilder sind eine wesentliche Quelle visueller Informationen. Mithilfe von <a href="Convolutional_Neural_Network" title="Convolutional Neural Network">Convolutional Neural Networks</a> konnten große Fortschritte beim Verständnis von Bildern erzielt werden. Verwendete Techniken sind z. B. die <a href="Objekterkennung" title="Objekterkennung">Objekterkennung</a>, die <a href="Gesichtserkennung" title="Gesichtserkennung">Gesichtserkennung</a> und die Segmentierung von Bildern.</li>

<li>Die Audiomodalität umfasst Informationen aus Sprachaufnahmen, Tondateien oder Live-Streams.</li>

<li>Videos sind eine leistungsstarke Quelle für multimodale Daten, weil sie visuelle und auditive Informationen kombinieren. <a href="Computer_Vision" title="Computer Vision">Computer Vision</a> und Audioverarbeitungstechniken ermöglichen es, Wissen aus einer Videosequenz zu extrahieren. Dies ermöglicht die Erkennung von sich bewegenden Objekten, die Analyse menschlicher Aktivitäten oder sogar die Erkennung von Gesten.</li></ul>

<div class="mw-heading mw-heading2"><h2 id="Bootstrapping_Language-Image_Pretraining">Bootstrapping Language-Image Pretraining</h2></div>

Die meisten modernen Vision-Language-Modelle benötigen während des Trainings einen hohen Rechenaufwand, weil das Training mit umfangreichen Modellen und Datensätzen erfolgt, vgl. Contrastive Language-Image Pre-training (CLIP). Die Forschung befindet sich an der Schnittstelle zwischen Sehen und Sprache. Daher ist zu erwarten, dass Vision-Language-Modelle von den leicht verfügbaren unimodalen Modellen der <a href="Bilderkennung" title="Bilderkennung">Bilderkennung</a> und natürlichen <a href="Spracherkennung" title="Spracherkennung">Spracherkennung</a> profitieren können.

Vortrainierte Vision-Modelle bieten eine qualitativ hochwertige visuelle Darstellung. Vortrainierte <a href="Sprachmodell" title="Sprachmodell">Sprachmodelle</a>, insbesondere große Sprachmodelle, bieten leistungsstarke Fähigkeiten zur Sprachgenerierung und <a href="Zero-Shot_Learning" title="Zero-Shot Learning">Zero-Shot-Übertragung</a>. Um die Kosten zu senken und dem Problem des katastrophalen Vergessens entgegenzuwirken, bleiben die unimodalen vortrainierten Modelle während des Vortrainings eingefroren. Weil große Sprachmodelle jedoch während ihres <a href="Unimodale_Abbildung" title="Unimodale Abbildung">unimodalen</a> Vortrainings keine Bilder gesehen haben, macht das Einfrieren die visuelle Sprachausrichtung besonders schwierig.<a href="#cite_note-20">[20]</a>

<div class="mw-heading mw-heading2"><h2 id="Skalierungsgesetze">Skalierungsgesetze</h2></div>

Passt man für jede Modalität <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle j}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle j}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/2f461e54f5c093e92a55547b9764291390f0b5d0.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; margin-left: -0.027ex; width:0.985ex; height:2.509ex;" alt="{\displaystyle j}" loading="lazy"> die sieben Parameter der <a href="Gleichung" title="Gleichung">Gleichung</a>

</mrow>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<mfrac>

<msub>

</mrow>

</msub>

<msup>

<msub>

</mrow>

</msub>

</mrow>

</msup>

</mfrac>

</mrow>

<mfrac>

<msub>

</mrow>

</msub>

<mrow>

</mrow>

<msub>

</mrow>

</msub>

<msup>

</mrow>

<msub>

</mrow>

</msub>

</mrow>

</msup>

</mrow>

</mfrac>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\mathcal {L}}(N,D_{j})=E_{j}+{\frac {A_{j}}{N^{\alpha _{j}}}}+{\frac {B_{j}}{|D_{j}|^{\beta _{j}}}}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/c47842a9a8d3caf4c73b4bb659027e41d9c1064e.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.171ex; width:32.547ex; height:7.009ex;" alt="{\displaystyle {\mathcal {L}}(N,D_{j})=E_{j}+{\frac {A_{j}}{N^{\alpha _{j}}}}+{\frac {B_{j}}{|D_{j}|^{\beta _{j}}}}}" loading="lazy"></dd></dl>

an und minimiert

</mrow>

</munder>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \sum _{i\mod j}H_{\sigma =0.03}[LSE(a_{j}-\alpha _{j}\cdot \log(N_{i}),b-\beta \cdot \log(D_{i}),e_{j})-L_{i}]}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a24814f6bdbc411eaaf1c7b607e6fbbe699b4003.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.338ex; width:62.995ex; height:5.843ex;" alt="{\displaystyle \sum _{i\mod j}H_{\sigma =0.03}[LSE(a_{j}-\alpha _{j}\cdot \log(N_{i}),b-\beta \cdot \log(D_{i}),e_{j})-L_{i}]}" loading="lazy"></dd></dl>

für <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \{a_{j},b_{j},e_{j},\alpha _{j},\beta _{j}\}}">

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \{a_{j},b_{j},e_{j},\alpha _{j},\beta _{j}\}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/725cf98fe956ae6c7531e4720d60720ca8df420d.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:17.123ex; height:3.009ex;" alt="{\displaystyle \{a_{j},b_{j},e_{j},\alpha _{j},\beta _{j}\}}" loading="lazy">, wobei <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle H}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle H}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/75a9edddcca2f782014371f75dca39d7e13a9c1b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:2.064ex; height:2.176ex;" alt="{\displaystyle H}" loading="lazy"> der Standard-Huberverlust für jeden Durchlauf <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle i}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle i}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/add78d8608ad86e54951b8c8bd6c8d8416533d20.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:0.802ex; height:2.176ex;" alt="{\displaystyle i}" loading="lazy"> und Modalität <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle j}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle j}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/2f461e54f5c093e92a55547b9764291390f0b5d0.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; margin-left: -0.027ex; width:0.985ex; height:2.509ex;" alt="{\displaystyle j}" loading="lazy"> ist. Man setzt dann <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle A_{j}=e^{a_{j}}}">

<msub>

</mrow>

</msub>

<msup>

<msub>

</mrow>

</msub>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle A_{j}=e^{a_{j}}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/f1cd34da68c405b492e2b2bcfc1376ddd50f421e.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:8.651ex; height:3.009ex;" alt="{\displaystyle A_{j}=e^{a_{j}}}" loading="lazy">, <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle B_{j}=e^{b_{j}}}">

<msub>

</mrow>

</msub>

<msup>

<msub>

</mrow>

</msub>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle B_{j}=e^{b_{j}}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/fc8eef1069689e82b9c9242409c4e56a57664e61.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:8.508ex; height:3.343ex;" alt="{\displaystyle B_{j}=e^{b_{j}}}" loading="lazy">, <math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle E_{j}=e^{e_{j}}}">

<msub>

</mrow>

</msub>

<msup>

<msub>

</mrow>

</msub>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle E_{j}=e^{e_{j}}}</annotation>

</semantics>

</math><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/6b8e959d123b6f16b5acdc947b64c74b6503868f.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:8.52ex; height:3.009ex;" alt="{\displaystyle E_{j}=e^{e_{j}}}" loading="lazy">. Um die optimalen Minima zu identifizieren, verwendet man das <a href="BFGS-Verfahren" title="BFGS-Verfahren">BFGS-Verfahren</a> auf demselben Gitter der Initialisierungswerte. Die erhaltenen optimalen Werte befinden sich nicht an den Grenzen des Initialisierungsgitters. Die Skalierungsgesetze für jede Modalität sind im Einzelnachweis verfügbar. Die Parameter für jede Modalität variieren erheblich.<a href="#cite_note-21">[21]</a>

<div class="mw-heading mw-heading2"><h2 id="Kollaps">Kollaps</h2></div>

Bei LLM und <a href="Foundation_Models" title="Foundation Models">Foundation Models</a> anderer Art (VAE, GMM) kann es durch das andauernde Training in der laufenden Nutzung zur dauerhaften, bis zur Unbrauchbarkeit reichenden Verschlechterung der Ergebnisqualität kommen. Man spricht auch von einem sogenannten <a href="Englische_Sprache" title="Englische Sprache">englisch</a> model collapse ‚<a href="Modellkollaps" title="Modellkollaps">Modellkollaps</a>‘.

Dies betrifft insbesondere nachfolgende Modellversionen, die mit einem zunehmenden Anteil an künstlich generierten Daten trainiert werden, d. h., dass Teile der Trainingsdaten ebenfalls von einem LLM stammen. Eine Vorsortierung der in der Regel durch <a href="Screen_Scraping" title="Screen Scraping">Webscraping</a> erlangten Daten erscheint bisher als zu aufwändig.<a href="#cite_note-22">[22]</a>

<div class="mw-heading mw-heading2"><h2 id="Siehe_auch">Siehe auch</h2></div>

<div class="sisterproject" style="margin:0.1em 0 0 0;"><div class="noresize noviewer" style="display:inline-block; line-height:10px; min-width:1.6em; text-align:center;" aria-hidden="true" role="presentation"></div><a class="external text" href="https://commons.wikimedia.org/wiki/Category:Large_language_models?uselang=de">Commons: Large Language Model</a> – Sammlung von Bildern, Videos und Audiodateien</div>

<li><a href="Data_Science" title="Data Science">Data Science</a></li>

<li><a href="Deep_Learning" title="Deep Learning">Deep Learning</a></li>

<li><a href="Language_Model_for_Dialogue_Applications" title="Language Model for Dialogue Applications">Language Model for Dialogue Applications</a> (LaMDA), ein auf <a href="Dialog" title="Dialog">Dialoge</a> (<a href="Audio" title="Audio">Audio</a>) trainiertes Modell</li>

<li><a href="Sora_(k%C3%BCnstliche_Intelligenz)" title="Sora (künstliche Intelligenz)">Sora</a>, ein Text-zu-Video-Generator</li></ul>

<div class="mw-heading mw-heading2"><h2 id="Literatur">Literatur</h2></div>

<div class="sieheauch" role="navigation" style="font-style:italic;">Siehe auch: <a href="Sprachmodell" title="Sprachmodell">Sprachmodell</a></div>

<ul><li>Endre Pap (Hrsg.): <cite class="lang" lang="en" dir="auto" style="font-style:italic">Artificial Intelligence: Theory and Applications</cite> (= <cite class="lang" lang="en" dir="auto" style="font-style:italic">Studies in Computational Intelligence</cite>. Band 973). Springer International Publishing, Cham 2021, ISBN 978-3-03072710-9, <a href="Digital_Object_Identifier" title="Digital Object Identifier">doi</a>:<a rel="nofollow" class="external text" href="https://doi.org/10.1007/978-3-030-72711-6">10.1007/978-3-030-72711-6</a> (englisch).<span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/de.wikipedia.org:Large+Language+Model&rft.btitle=Artificial+Intelligence%3A+Theory+and+Applications&rft.date=2021&rft.doi=10.1007%2F978-3-030-72711-6&rft.genre=book&rft.isbn=9783030727109&rft.place=Cham&rft.pub=Springer+International+Publishing&rft.series=Studies+in+Computational+Intelligence" style="display:none"> </li>

<li>Sabine Seufert, Siegfried Handschuh (Hrsg.): <cite style="font-style:italic">Generative Künstliche Intelligenz: ChatGPT und Co für Bildung, Wirtschaft und Gesellschaft</cite>. 1. Auflage. Schäffer-Poeschel Verlag, Stuttgart [Freiburg] 2024, ISBN 978-3-7910-6220-4.<span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/de.wikipedia.org:Large+Language+Model&rft.btitle=Generative+K%C3%BCnstliche+Intelligenz%3A+ChatGPT+und+Co+f%C3%BCr+Bildung%2C+Wirtschaft+und+Gesellschaft&rft.date=2024&rft.edition=1.+Auflage&rft.genre=book&rft.isbn=9783791062204&rft.place=Stuttgart+%5BFreiburg%5D&rft.pub=Sch%C3%A4ffer-Poeschel+Verlag" style="display:none"> </li>

<li>Jürgen Franke, Anita Schöbel (Hrsg.): <cite class="lang" lang="en" dir="auto" style="font-style:italic">Statistical Machine Learning for Engineering with Applications</cite> (= <cite class="lang" lang="en" dir="auto" style="font-style:italic">Lecture Notes in Statistics</cite>. Band 227). Springer Nature Switzerland, Cham 2024, ISBN 978-3-03166252-2, <a href="Digital_Object_Identifier" title="Digital Object Identifier">doi</a>:<a rel="nofollow" class="external text" href="https://doi.org/10.1007/978-3-031-66253-9">10.1007/978-3-031-66253-9</a> (englisch).<span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/de.wikipedia.org:Large+Language+Model&rft.btitle=Statistical+Machine+Learning+for+Engineering+with+Applications&rft.date=2024&rft.doi=10.1007%2F978-3-031-66253-9&rft.genre=book&rft.isbn=9783031662522&rft.place=Cham&rft.pub=Springer+Nature+Switzerland&rft.series=Lecture+Notes+in+Statistics" style="display:none"> </li>

<li>Wolfgang Ertel: <cite style="font-style:italic">Grundkurs Künstliche Intelligenz: Eine praxisorientierte Einführung</cite> (= <cite style="font-style:italic">Computational Intelligence</cite>). Springer Fachmedien Wiesbaden, Wiesbaden 2025, ISBN 978-3-658-44954-4, <a href="Digital_Object_Identifier" title="Digital Object Identifier">doi</a>:<a rel="nofollow" class="external text" href="https://doi.org/10.1007/978-3-658-44955-1">10.1007/978-3-658-44955-1</a>.<span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/de.wikipedia.org:Large+Language+Model&rft.au=Wolfgang+Ertel&rft.btitle=Grundkurs+K%C3%BCnstliche+Intelligenz%3A+Eine+praxisorientierte+Einf%C3%BChrung&rft.date=2025&rft.doi=10.1007%2F978-3-658-44955-1&rft.genre=book&rft.isbn=9783658449544&rft.place=Wiesbaden&rft.pub=Springer+Fachmedien+Wiesbaden&rft.series=Computational+Intelligence" style="display:none"> </li></ul>

<div class="mw-heading mw-heading2"><h2 id="Einzelnachweise">Einzelnachweise</h2></div>

<li id="cite_note-1"><a href="#cite_ref-1">↑</a> Patricia Kelbert, Dr Julien Siebert, Lisa Jöckel: <a rel="nofollow" class="external text" href="https://www.iese.fraunhofer.de/blog/large-language-models-ki-sprachmodelle/">Was sind Large Language Models? Und was ist bei der Nutzung von KI-Sprachmodellen zu beachten? - Blog des Fraunhofer IESE.</a> In: Fraunhofer IESE. 12. Dezember 2023, abgerufen am 8. November 2025.<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Was+sind+Large+Language+Models%3F+Und+was+ist+bei+der+Nutzung+von+KI-Sprachmodellen+zu+beachten%3F+-+Blog+des+Fraunhofer+IESE&rft.description=Was+sind+Large+Language+Models%3F+Und+was+ist+bei+der+Nutzung+von+KI-Sprachmodellen+zu+beachten%3F+-+Blog+des+Fraunhofer+IESE&rft.identifier=https%3A%2F%2Fwww.iese.fraunhofer.de%2Fblog%2Flarge-language-models-ki-sprachmodelle%2F&rft.creator=Patricia+Kelbert%2C+Dr+Julien+Siebert%2C+Lisa+J%C3%B6ckel&rft.date=2023-12-12&rft.language=de">

</li>

<li id="cite_note-2"><a href="#cite_ref-2">↑</a> <a rel="nofollow" class="external text" href="https://openai.com/research/better-language-models">Better language models and their implications.</a> Abgerufen am 15. Januar 2024 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Better+language+models+and+their+implications&rft.description=Better+language+models+and+their+implications&rft.identifier=https%3A%2F%2Fopenai.com%2Fresearch%2Fbetter-language-models&rft.language=en">

</li>

<li id="cite_note-3"><a href="#cite_ref-3">↑</a> Rick Merritt: <a rel="nofollow" class="external text" href="https://blogs.nvidia.com/blog/what-is-a-transformer-model/">What Is a Transformer Model?</a> 25. März 2022, abgerufen am 15. Januar 2024 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=What+Is+a+Transformer+Model%3F&rft.description=What+Is+a+Transformer+Model%3F&rft.identifier=https%3A%2F%2Fblogs.nvidia.com%2Fblog%2Fwhat-is-a-transformer-model%2F&rft.creator=Rick+Merritt&rft.date=2022-03-25&rft.language=en">

</li>

<li id="cite_note-4"><a href="#cite_ref-4">↑</a> Guandong Feng et al.: <cite class="lang" lang="en" dir="auto" style="font-style:italic">Robust NL-to-Cypher Translation for KBQA: Harnessing Large Language Model with Chain of Prompts</cite>. In: <cite class="lang" lang="en" dir="auto" style="font-style:italic">Knowledge Graph and Semantic Computing: Knowledge Graph Empowers Artificial General Intelligence</cite>. Band 1923. Springer Nature Singapore, Singapore 2023, ISBN 978-981-9972-23-4, S. 317–326, <a href="Digital_Object_Identifier" title="Digital Object Identifier">doi</a>:<a rel="nofollow" class="external text" href="https://doi.org/10.1007/978-981-99-7224-1_25">10.1007/978-981-99-7224-1_25</a> (englisch, <a rel="nofollow" class="external text" href="https://link.springer.com/10.1007/978-981-99-7224-1_25">springer.com</a> [abgerufen am 8. November 2025]).<span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/de.wikipedia.org:Large+Language+Model&rft.atitle=Robust+NL-to-Cypher+Translation+for+KBQA%3A+Harnessing+Large+Language+Model+with+Chain+of+Prompts&rft.au=Guandong+Feng+et+al.&rft.btitle=Knowledge+Graph+and+Semantic+Computing%3A+Knowledge+Graph+Empowers+Artificial+General+Intelligence&rft.date=2023&rft.doi=10.1007%2F978-981-99-7224-1_25&rft.genre=book&rft.isbn=9789819972234&rft.pages=317-326&rft.place=Singapore&rft.pub=Springer+Nature+Singapore&rft.volume=1923" style="display:none">

</li>

<li id="cite_note-5"><a href="#cite_ref-5">↑</a> Samuel R. Bowman: <a rel="nofollow" class="external text" href="http://arxiv.org/abs/2304.00612">Eight Things to Know about Large Language Models.</a> In: <a href="ArXiv" title="ArXiv">ArXiv</a>. 2. April 2023, abgerufen am 8. November 2025 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Eight+Things+to+Know+about+Large+Language+Models&rft.description=Eight+Things+to+Know+about+Large+Language+Models&rft.identifier=http%3A%2F%2Farxiv.org%2Fabs%2F2304.00612&rft.creator=Samuel+R.+Bowman&rft.date=2023-04-02&rft.language=en">

</li>

<li id="cite_note-6"><a href="#cite_ref-6">↑</a> <a rel="nofollow" class="external text" href="https://www.ibm.com/de-de/topics/fine-tuning">Was ist Feinabstimmung? | IBM.</a> 15. März 2024, abgerufen am 10. Dezember 2024.<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Was+ist+Feinabstimmung%3F+%7C+IBM&rft.description=Was+ist+Feinabstimmung%3F+%7C+IBM&rft.identifier=https%3A%2F%2Fwww.ibm.com%2Fde-de%2Ftopics%2Ffine-tuning&rft.date=2024-03-15&rft.language=de">

</li>

<li id="cite_note-7"><a href="#cite_ref-7">↑</a> Tom B. Brown et al.: <a rel="nofollow" class="external text" href="http://arxiv.org/abs/2005.14165">Language Models are Few-Shot Learners.</a> 22. Juli 2020, abgerufen am 8. November 2025 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Language+Models+are+Few-Shot+Learners&rft.description=Language+Models+are+Few-Shot+Learners&rft.identifier=http%3A%2F%2Farxiv.org%2Fabs%2F2005.14165&rft.creator=Tom+B.+Brown+et+al.&rft.date=2020-07-22&rft.language=en">

</li>

<li id="cite_note-8"><a href="#cite_ref-8">↑</a> <a rel="nofollow" class="external text" href="https://www.amacad.org/publication/human-language-understanding-reasoning">Human Language Understanding & Reasoning.</a> 13. April 2022, abgerufen am 15. Januar 2024 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Human+Language+Understanding+%26+Reasoning&rft.description=Human+Language+Understanding+%26+Reasoning&rft.identifier=https%3A%2F%2Fwww.amacad.org%2Fpublication%2Fhuman-language-understanding-reasoning&rft.date=2022-04-13&rft.language=en">

</li>

<li id="cite_note-9"><a href="#cite_ref-9">↑</a> Markus Städeli: <a rel="nofollow" class="external text" href="https://www.nzz.ch/wirtschaft/die-rangliste-der-weltbesten-ki-chatbots-zeigt-bei-der-kuenstlichen-intelligenz-ist-china-den-amerikanischen-anbietern-dicht-auf-den-fersen-ld.1861889">Das sind die besten KI-Sprachmodelle und viele stammen auch China.</a> 14. Dezember 2024, abgerufen am 8. November 2025.<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Das+sind+die+besten+KI-Sprachmodelle+und+viele+stammen+auch+China&rft.description=Das+sind+die+besten+KI-Sprachmodelle+und+viele+stammen+auch+China&rft.identifier=https%3A%2F%2Fwww.nzz.ch%2Fwirtschaft%2Fdie-rangliste-der-weltbesten-ki-chatbots-zeigt-bei-der-kuenstlichen-intelligenz-ist-china-den-amerikanischen-anbietern-dicht-auf-den-fersen-ld.1861889&rft.creator=Markus+St%C3%A4deli&rft.date=2024-12-14&rft.language=de">

</li>

<li id="cite_note-10"><a href="#cite_ref-10">↑</a> Ashish Vaswani et al.: <a rel="nofollow" class="external text" href="http://arxiv.org/abs/1706.03762">Attention Is All You Need.</a> 2. August 2023, abgerufen am 8. November 2025.<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Attention+Is+All+You+Need&rft.description=Attention+Is+All+You+Need&rft.identifier=http%3A%2F%2Farxiv.org%2Fabs%2F1706.03762&rft.creator=Ashish+Vaswani+et+al.&rft.date=2023-08-02">

</li>

<li id="cite_note-11"><a href="#cite_ref-11">↑</a> Rob Toews: <a rel="nofollow" class="external text" href="https://www.forbes.com/sites/robtoews/2023/09/03/transformers-revolutionized-ai-what-will-replace-them/">Transformers Revolutionized AI. What Will Replace Them?</a> In: Forbes. 3. September 2023, abgerufen am 5. Februar 2024 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Transformers+Revolutionized+AI.+What+Will+Replace+Them%3F&rft.description=Transformers+Revolutionized+AI.+What+Will+Replace+Them%3F&rft.identifier=https%3A%2F%2Fwww.forbes.com%2Fsites%2Frobtoews%2F2023%2F09%2F03%2Ftransformers-revolutionized-ai-what-will-replace-them%2F&rft.creator=Rob+Toews&rft.date=2023-09-03&rft.language=en">

</li>

<li id="cite_note-12"><a href="#cite_ref-12">↑</a> Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio: <a rel="nofollow" class="external text" href="http://arxiv.org/abs/1409.0473">Neural Machine Translation by Jointly Learning to Align and Translate.</a> 19. Mai 2016, abgerufen am 8. November 2025.<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Neural+Machine+Translation+by+Jointly+Learning+to+Align+and+Translate&rft.description=Neural+Machine+Translation+by+Jointly+Learning+to+Align+and+Translate&rft.identifier=http%3A%2F%2Farxiv.org%2Fabs%2F1409.0473&rft.creator=Dzmitry+Bahdanau%2C+Kyunghyun+Cho%2C+Yoshua+Bengio&rft.date=2016-05-19">

</li>

<li id="cite_note-13"><a href="#cite_ref-13">↑</a> Nico Litzel, Stefan Luber: <a rel="nofollow" class="external text" href="https://www.bigdata-insider.de/was-ist-bert-a-1116088/">Was ist BERT?</a> In: Bigdata Insider. Vogel Communications Group, 10. Mai 2022, abgerufen am 8. November 2025.<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Was+ist+BERT%3F&rft.description=Was+ist+BERT%3F&rft.identifier=https%3A%2F%2Fwww.bigdata-insider.de%2Fwas-ist-bert-a-1116088%2F&rft.creator=Nico+Litzel%2C+Stefan+Luber&rft.publisher=Vogel+Communications+Group&rft.date=2022-05-10&rft.language=de">

</li>

<li id="cite_note-14"><a href="#cite_ref-14">↑</a> <a rel="nofollow" class="external text" href="https://www.euronews.com/next/2023/11/30/chatgpt-a-year-on-3-ways-the-ai-chatbot-has-completely-changed-the-world-in-12-months">ChatGPT turns 1: How the AI chatbot has completely changed the world.</a> 30. November 2023, abgerufen am 5. Februar 2024 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=ChatGPT+turns+1%3A+How+the+AI+chatbot+has+completely+changed+the+world&rft.description=ChatGPT+turns+1%3A+How+the+AI+chatbot+has+completely+changed+the+world&rft.identifier=https%3A%2F%2Fwww.euronews.com%2Fnext%2F2023%2F11%2F30%2Fchatgpt-a-year-on-3-ways-the-ai-chatbot-has-completely-changed-the-world-in-12-months&rft.date=2023-11-30&rft.language=en">

</li>

<li id="cite_note-15"><a href="#cite_ref-15">↑</a> <a rel="nofollow" class="external text" href="https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/">GPT-4 is bigger and better than ChatGPT—but OpenAI won’t say why.</a> Abgerufen am 5. Februar 2024 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=GPT-4+is+bigger+and+better+than+ChatGPT%E2%80%94but+OpenAI+won%E2%80%99t+say+why&rft.description=GPT-4+is+bigger+and+better+than+ChatGPT%E2%80%94but+OpenAI+won%E2%80%99t+say+why&rft.identifier=https%3A%2F%2Fwww.technologyreview.com%2F2023%2F03%2F14%2F1069823%2Fgpt-4-is-bigger-and-better-chatgpt-openai%2F&rft.language=en">

</li>

<li id="cite_note-16"><a href="#cite_ref-16">↑</a> <a rel="nofollow" class="external text" href="https://ourworldindata.org/grapher/artificial-intelligence-parameter-count?time=2017-09-05..latest">Parameters in notable artificial intelligence systems.</a> <a href="Our_World_in_Data" title="Our World in Data">Our World in Data</a>, 3. April 2024, abgerufen am 16. Mai 2024 (britisches Englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Parameters+in+notable+artificial+intelligence+systems&rft.description=Parameters+in+notable+artificial+intelligence+systems&rft.identifier=https%3A%2F%2Fourworldindata.org%2Fgrapher%2Fartificial-intelligence-parameter-count%3Ftime%3D2017-09-05..latest&rft.publisher=%27%27%5B%5BOur+World+in+Data%5D%5D%27%27&rft.date=2024-04-03&rft.language=en-GB">

</li>

<li id="cite_note-17"><a href="#cite_ref-17">↑</a> <a rel="nofollow" class="external text" href="https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard">LMSys Chatbot Arena Leaderboard - a Hugging Face Space by lmsys.</a> Abgerufen am 5. Februar 2024.<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=LMSys+Chatbot+Arena+Leaderboard+-+a+Hugging+Face+Space+by+lmsys&rft.description=LMSys+Chatbot+Arena+Leaderboard+-+a+Hugging+Face+Space+by+lmsys&rft.identifier=https%3A%2F%2Fhuggingface.co%2Fspaces%2Flmsys%2Fchatbot-arena-leaderboard">

</li>

<li id="cite_note-18"><a href="#cite_ref-18">↑</a> Siddharth Jindal: <a rel="nofollow" class="external text" href="https://analyticsindiamag.com/googles-gemini-pro-beats-gpt-4/">Google's Gemini Pro Beats GPT-4.</a> 27. Januar 2024, abgerufen am 5. Februar 2024 (amerikanisches Englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Google%27s+Gemini+Pro+Beats+GPT-4&rft.description=Google%27s+Gemini+Pro+Beats+GPT-4&rft.identifier=https%3A%2F%2Fanalyticsindiamag.com%2Fgoogles-gemini-pro-beats-gpt-4%2F&rft.creator=Siddharth+Jindal&rft.date=2024-01-27&rft.language=en-US">

</li>

<li id="cite_note-19"><a href="#cite_ref-19">↑</a> <a rel="nofollow" class="external text" href="https://datascientest.com/de/multimodal-learning-die-technik-die-die-kuenstliche-intelligenz-revolutioniert">Multimodal Learning: Die Technik, die die künstliche Intelligenz revolutioniert.</a> In: Weiterbildung Data Science | DataScientest.com. 17. August 2023, abgerufen am 24. Juni 2024 (deutsch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALarge+Language+Model&rft.title=Multimodal+Learning%3A+Die+Technik%2C+die+die+k%C3%BCnstliche+Intelligenz+revolutioniert&rft.description=Multimodal+Learning%3A+Die+Technik%2C+die+die+k%C3%BCnstliche+Intelligenz+revolutioniert&rft.identifier=https%3A%2F%2Fdatascientest.com%2Fde%2Fmultimodal-learning-die-technik-die-die-kuenstliche-intelligenz-revolutioniert&rft.date=2023-08-17&rft.language=de-DE">

</li>

<li id="cite_note-20"><a href="#cite_ref-20">↑</a> Junnan Li, Dongxu Li, Silvio Savarese, Steven Hoi: <cite style="font-style:italic">BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models</cite>. 2023, <a href="Digital_Object_Identifier" title="Digital Object Identifier">doi</a>:<a rel="nofollow" class="external text" href="https://doi.org/10.48550/ARXIV.2301.12597">10.48550/ARXIV.2301.12597</a>, <a href="ArXiv" title="ArXiv">arxiv</a>:<a rel="nofollow" class="external text" href="https://arxiv.org/abs/2301.12597">2301.12597</a>.<span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/de.wikipedia.org:Large+Language+Model&rft.au=Junnan+Li%2C+Dongxu+Li%2C+Silvio+Savarese%2C+...&rft.btitle=BLIP-2%3A+Bootstrapping+Language-Image+Pre-training+with+Frozen+Image+Encoders+and+Large+Language+Models&rft.date=2023&rft.doi=10.48550%2FARXIV.2301.12597&rft.genre=book" style="display:none">

</li>

<li id="cite_note-21"><a href="#cite_ref-21">↑</a> Armen Aghajanyan, Lili Yu, Alexis Conneau, Wei-Ning Hsu, Karen Hambardzumyan, Susan Zhang, Stephen Roller, Naman Goyal, Omer Levy, Luke Zettlemoyer: <cite style="font-style:italic">Scaling Laws for Generative Mixed-Modal Language Models</cite>. 10. Januar 2023, <a href="Digital_Object_Identifier" title="Digital Object Identifier">doi</a>:<a rel="nofollow" class="external text" href="https://doi.org/10.48550/ARXIV.2301.03728">10.48550/ARXIV.2301.03728</a>.<span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/de.wikipedia.org:Large+Language+Model&rft.au=Armen+Aghajanyan%2C+Lili+Yu%2C+Alexis+Conneau%2C+...&rft.btitle=Scaling+Laws+for+Generative+Mixed-Modal+Language+Models&rft.date=2023-01-10&rft.doi=10.48550%2FARXIV.2301.03728&rft.genre=book" style="display:none">

</li>

<li id="cite_note-22"><a href="#cite_ref-22">↑</a> Ilia Shumailov et al.: <cite class="lang" lang="en" dir="auto" style="font-style:italic">AI models collapse when trained on recursively generated data</cite>. In: <cite class="lang" lang="en" dir="auto" style="font-style:italic">Nature</cite>. Band 631, Nr. 8022, 25. Juli 2024, <a href="Internationale_Standardnummer_f%C3%BCr_fortlaufende_Sammelwerke" title="Internationale Standardnummer für fortlaufende Sammelwerke">ISSN</a> <a rel="nofollow" class="external text" href="https://zdb-katalog.de/list.xhtml?t=iss%3D%220028-0836%22&key=cql">0028-0836</a>, S. 755–759, <a href="Digital_Object_Identifier" title="Digital Object Identifier">doi</a>:<a rel="nofollow" class="external text" href="https://doi.org/10.1038/s41586-024-07566-y">10.1038/s41586-024-07566-y</a>, <a class="external mw-magiclink-pmid" rel="nofollow" href="https://www.ncbi.nlm.nih.gov/pubmed/39048682?dopt=Abstract">PMID 39048682</a>, <a rel="nofollow" class="external text" href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11269175/">PMC 11269175</a> (freier Volltext) – (englisch, <a rel="nofollow" class="external text" href="https://www.nature.com/articles/s41586-024-07566-y">nature.com</a> [abgerufen am 27. Juli 2024]).<span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rfr_id=info:sid/de.wikipedia.org:Large+Language+Model&rft.atitle=AI+models+collapse+when+trained+on+recursively+generated+data&rft.au=Ilia+Shumailov+et+al.&rft.date=2024-07-25&rft.doi=10.1038%2Fs41586-024-07566-y&rft.genre=journal&rft.issn=0028-0836&rft.issue=8022&rft.jtitle=Nature&rft.pages=755-759&rft.pmc=11269175&rft.pmid=39048682&rft.volume=631" style="display:none">

</li>

</ol>

<div>

Normdaten (Sachbegriff): <a href="Gemeinsame_Normdatei" title="Gemeinsame Normdatei">GND</a>: <a rel="nofollow" class="external text" href="https://d-nb.info/gnd/1322631905">1322631905</a> </div>

</div></div></div><div><div class="zim-footer">

Dieser Artikel wurde von <a class="external text" title="Zuletzt bearbeitet am 2026-01-04" href="https://de.wikipedia.org/wiki/?title=Large_Language_Model&oldid=263017567">Wikipedia</a> herausgegeben. Der Text ist unter <a class="external text" href="https://creativecommons.org/licenses/by-sa/4.0/deed.de">Creative Commons Attribution-Share Alike 4.0</a> verfügbar, sofern nicht anders angegeben. Für die Mediendateien können zusätzliche Bedingungen gelten.

</div>

</div></div>

</div>

</main>

</div>

</body></html>